[Pan Sharpening 4]PC_NET_RC - ChaeyeonSon/PaperReading GitHub Wiki

PAN SHARPENING WITH COLOR AWARE PERCEPTUAL LOSS AND GUIDED RE COLORIZATION

Keyword :

  • color-aware perceptual (CAP) loss -> focus on deep features of pre-trained VGG; sensitive to spatial details
  • guided re-colorization -> picking the closest MS pixel color for pan-sharpened pixel.

1. Introduction

  • pseudo-ground truth MS image와 output으로 학습을 하는 것은 PAN과 MS의 image distribution이 다르다는 사실을 무시한다.
    MS를 single band로 gray화시킨 것은 PAN 과 luminance 등에서 많은 차이가 있다.

  • 이를 해결하기 위해 high-frequency detail에 더욱 sensitive 하고, color 에는 덜 sensitive한 CAP loss를 사용한다. -> edge 부근 detail 이 좋아지고 artifact 가 적어질 것이다.

  • 또, guided re-colorization은 input MS와 비슷한 color를 갖게하는데, input MS 이미지에서 주위에서 가장 가까운 MS pixel 색을 가져온다. -> 이 recolorized image는 맨 처음 output인 HF content와 결합되어 최종적으로 다시 칠해진 output 생성. -> guided re-colorization은 testing time 에서는 post-processing step으로 사용되고, 학습중에는 self-supervision signal로 사용된다.

2. Related Works

  1. Deep learning-based pan-sharpening method : PNN(SRCNN), PanNet(Resnet), DSen2(EDSR), S3 loss
  2. Perceptual loss : VGG를 사용한 perceptual loss 와 human visual system 은 correlation이 있다. CAP는 VGG채널이 structural information에 sensitive 함을 이용한다.

3. Method

1. Color-aware perceptual loss

  • perceptual loss : penealize the relationship between target pixel & neighboring pixels by receptive field
    image

  • 여기서 L=3인데 이때 에서 conv 1_2, 2_2, 3_4 까지가 layer 1, 2, 3이다.

  • 상응하는 color MS image와 grayscaled-inverted MS image의 특징 차이를 측정하기위한 weight를 얻고자 함. 차이가 클수록 특징은 color 와 brightness에 sensible
    imageimage

  • max pooling 으로 size를 줄여 shift invariance를 주고자 했다. -> 작은 size에서는 misalignment가 사라지며 back propagation 때도 misalignment가 생긴 부분에서 gradient를 주기 때문에 better.
    image

  • CAP가 HF detail on I_ps를 만들고, 다른 loss term 들이 color fidelity를 enforce한다. image

2. Guided re-colorization

  • guided re-colorization(RC)가 CNN으로 만들어진 spectral fidelity를 closest MS color 를 이용해 향상시킬 것이라 생각.
  • 아래 그림 1 처럼 p1에 대한 진짜 색을 upscaled MS image의 local window에서 찾는다. image
  • 하지만 이 방법은 HF detail이 사라지게 되므로 (1) YCbCr에서 Y-channel 로 guide된 RC image (2) high-frequency 로 guide 된 re-colorized image를 사용하는 approach를 선택한다.
    image
  • I_hf 는 I_ps에서 low frequency 정보 제거해서 얻어낸다.
    ->Favg 는 averaging filter(5x5)
  • ps image 덕분에 rc image가 완벽히 align 가능하다. RC 모듈은 architecture에서 중간 블럭.
  • hfrc image 는 post-processing에 luma(YCbCr에서 Y-channel로 가이드) RC image는 타겟에서 real-colors를 만들어내기위한 self-supervised signal로 사용.
    ->yrc image는 학습에서 안정적임을 보임.
    => 최종 loss 는 fidelity loss + RC loss

3. Network architecture image

  • 1st stage(pc-net): Unet과 비슷한 skip connection 로 각 pixel을 칠할 뿐 아니라 PAN-MS misalignment를 다루는 데도 유용.
  • 2nd stage(rc-net): re-colorized version of initial ps image, org MS, HF of PS image 를 input으로 하여 4개의 conv-elu 블럭과 rc image residual connection을 갖는다.
    image

4. Experiments and results

  • dataset: WV3(0.3m GSD PAN & 1.2m GSD MS- only RGB)

1. Implementation details

  • 50 epochs, batch size 8, Adam opt., lr=5*10^-5->1/2배 at epoch 30/40, WV3에서 5% 이상 pixel이 0이면 버림 => 11804 imgs, random augmentation(horizontal, vertical flip, cropping, change lum, brightness)
  • 기존 방법과 달리 original MS, PAN으로 학습.

2. Results on WV3
image

  • RC 붙은 게 post processing으로 re-colorization 한 것이며 가장 낮은 ERGAS를 기록.
  • alpha_ms=0 인 경우가 가장 높은 SCC score 가진다.
  • alpha_cap 이 있는 경우와 없는 경우를 비교했을 때 있는 경우가 HF detail(SCC)점수 높음.
  • pc-net-rc가 pc-net only 보다 ERGAS 에서 더 좋음(낮음).
  • 기존 연구들보다 더 높은 SCC와 낮은 ERGAS를 갖는 것을 보여줌.
    color artifact가 없는 edge를 보여주며, CAP loss 가 HF detail 유지하는데 효율적이라는 것을 알 수 있음.